<html lang="en-US">

<head>
    
<title>Go1.16 新特性：详解内存管理机制的变更，你需要了解 - 花落雨忧</title>

<meta property="og:title" content="Go1.16 新特性：详解内存管理机制的变更，你需要了解 - 花落雨忧">



    



    
    <meta property="description" content="大家好，我是正在学习如何蒸鱼的煎鱼。
在前面 Go1.16 特性介绍的文章中我们有提到，从 v1.16 起，Go 在 Linux 下的默认内存管理策略会从MADV_FREE 改回 MADV_DONTNEED 策略。
这时候可能至少分两拨小伙伴，分别是：
[&amp;hellip;] 你有没有以下的疑问，或者是否清楚：
[&amp;hellip;] 在今天这篇文章中我们都将进一步的展开和说明，让我们一同来了解这个改 &amp;hellip;">
    <meta property="og:description" content="大家好，我是正在学习如何蒸鱼的煎鱼。
在前面 Go1.16 特性介绍的文章中我们有提到，从 v1.16 起，Go 在 Linux 下的默认内存管理策略会从MADV_FREE 改回 MADV_DONTNEED 策略。
这时候可能至少分两拨小伙伴，分别是：
[&amp;hellip;] 你有没有以下的疑问，或者是否清楚：
[&amp;hellip;] 在今天这篇文章中我们都将进一步的展开和说明，让我们一同来了解这个改 &amp;hellip;">
    






<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1">

<link rel="shortcut icon" href="https://www.lican.site/logo/logo.png" type="image/x-icon" />



<link rel="stylesheet" href="/css/style.min.css" />

<link rel="stylesheet" href="/css/reset.min.css" />




<script src="https://www.lican.site/js/highlight.min.js"></script>

<script>
hljs.configure({ ignoreUnescapedHTML: true })
hljs.highlightAll();
</script>


<script src="https://www.lican.site/js/jquery.min.js"></script>




<link href="https://www.lican.site/css/hugo-code.min.css" rel="stylesheet" />



    <style>
        .post-content img {
            max-width: 400px;
        }
    </style>
</head>

<body id="period" class="home blog">
    <a class="skip-content" href="#main">Press "Enter" to skip to content</a>
    <div id="overflow-container" class="overflow-container">
        <header class="site-header" id="site-header" role="banner">
    <div class="max-width">
        <div id="title-container" class="title-container">
            <div id="site-title" class="site-title"><a href="/">花落雨忧</a></div>
            <p class="tagline">思所及 力所行 方为真.</p>
        </div>
        
        <div id="menu-primary-container" class="menu-primary-container">
            <div class="icon-container">
            </div>
            <div id="menu-primary" class="menu-container menu-primary" role="navigation">
                <nav class="menu">
                    <ul id="menu-primary-items" class="menu-primary-items">
                        
                        
                        <li id="menu-item-0"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/posts" aria-current="page" tabindex="0">首页</a></li>
                        
                        <li id="menu-item-1"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/tech/" aria-current="page" tabindex="1">技术文档</a></li>
                        
                        <li id="menu-item-2"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/article/" aria-current="page" tabindex="2">文章</a></li>
                        
                        <li id="menu-item-3"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/project/" aria-current="page" tabindex="3">项目</a></li>
                        
                        <li id="menu-item-4"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/about/" aria-current="page" tabindex="4">关于</a></li>
                        
                    </ul>
                </nav>
            </div>
        </div>
    </div>
</header>
        <div id="primary-container" class="primary-container">
            <div class="max-width">
                <section id="main" class="main" role="main">
                    <div id="loop-container" class="loop-container">
                        <div
                            class="post type-post status-publish format-standard hentry entry">
                            <article>
                                <div class="post-container">
                                    <div class="post-header">
                                        <h2 class="post-title">
                                            <a href="/posts/go/go1.16-3/">Go1.16 新特性：详解内存管理机制的变更，你需要了解</a>
                                        </h2>
                                        
                                        <div class="post-byline">Published on
                                            <a class="date" href="javascript:;">2021/02/11</a>
                                            
                                            
                                            
                                            
                                            
                                        
                                    </div>
                                    <div class="post-content">
                                        <p>大家好，我是正在学习如何蒸鱼的煎鱼。</p>
<p>在前面 Go1.16 特性介绍的文章中我们有提到，从 v1.16 起，Go 在 Linux 下的默认内存管理策略会从<code>MADV_FREE</code> 改回 <code>MADV_DONTNEED</code> 策略。</p>
<p>这时候可能至少分两拨小伙伴，分别是：</p>
<ul>
<li>知道是什么，被这个问题 “折磨“ 过的，瞬间眼前一亮。</li>
<li>不知道是什么，出现了各种疑惑了，这说的都是些什么。</li>
</ul>
<h2 id="灵魂拷问">灵魂拷问</h2>
<p>你有没有以下的疑问，或者是否清楚：</p>
<ul>
<li>文中所说的 <code>MADV_FREE</code> 是什么？</li>
<li>文中所说的 <code>MADV_DONTNEED</code> 是什么？</li>
<li>为什么特指 Go 语言的 Linux 环境？</li>
<li>为什么是说从 <code>MADV_FREE</code>改回 <code>MADV_DONTNEED</code>？</li>
</ul>
<p>在今天这篇文章中我们都将进一步的展开和说明，让我们一同来了解这个改来改去的内存机制到底是何物。</p>
<h2 id="madvise-爱与恨">madvise 爱与恨</h2>
<p>在 Linux 系统中，在 Go Runtime 中通过系统调用 <code>madvise(addr, length, advise)</code> 方法，能够告诉内核如何处理从 addr 开始的 length 字节。</p>
<p>重点之一就是 ”如何处理“，在 Linux 下 Go 语言中目前支持两种策略，分别是：</p>
<ul>
<li>MADV_FREE：内核会在进程的页表中将这些页标记为“未分配”，从而进程的 RSS 就会变小。OS 后续可以将对应的物理页分配给其他进程。</li>
<li>MADV_DONTNEED：内核只会在页表中将这些进程页面标记为可回收，在需要的时候才回收这些页面。</li>
</ul>
<h2 id="所带来的影响">所带来的影响</h2>
<p>Go 语言官方恰好就在 2019 年的 Go1.12 做了如下调整。</p>
<ul>
<li>Go1.12 以前。</li>
<li>Go.12-Go1.15.</li>
</ul>
<h3 id="go112-以前">Go1.12 以前</h3>
<p>Go Runtime 在 Linux 上默认使用的是 <code>MADV_DONTNEED</code> 策略。</p>
<pre><code>  // 没有任何奇奇怪怪的判断
	madvise(v, n, _MADV_DONTNEED)
</code></pre><p>从整体效果来看，进程 RSS 可以下降的比较快，但从性能效率上来看差点。</p>
<h3 id="go112-go115">Go1.12-Go1.15</h3>
<p>当前 Linux 内核版本 &gt;=4.5 时，Go Runtime 在 Linux 上默认使用了性能更为高效的 MADV_FREE 策略。</p>
<pre><code>	var advise uint32
	if debug.madvdontneed != 0 {
		advise = _MADV_DONTNEED
	} else {
		advise = atomic.Load(&amp;adviseUnused)
	}
	if errno := madvise(v, n, int32(advise)); advise == _MADV_FREE &amp;&amp; errno != 0 {
		// MADV_FREE was added in Linux 4.5. Fall back to MADV_DONTNEED if it is
		// not supported.
		atomic.Store(&amp;adviseUnused, _MADV_DONTNEED)
		madvise(v, n, _MADV_DONTNEED)
	}
</code></pre><p>从整体效果来看，进程RSS 不会立刻下降，要等到系统有内存压力了才会释放占用，RSS 才会下降。</p>
<h2 id="带来的副作用">带来的副作用</h2>
<p>故事往往不是那么的美好，显然在 Go1.12 起针对 <code>madvise</code> 的 <code>MADV_FREE</code> 策略的调整非常 “片面”。</p>
<p><img src="https://static01.imgkr.com/temp/5b82f6e181bd406db94e31bca3a4b2ab.png" alt="来自社区小伙伴"></p>
<p>结合社区里所遇到的案例可得知，该次调整带来了许多问题：</p>
<ul>
<li><strong>引发用户体验的问题</strong>：Go issues 上总是出现以为内存泄露，但其实只是未满足条件，内存没有马上释放的案例。</li>
<li><strong>混淆统计信息和监控工具的情况</strong>：在 Grafana 等监控上，发现容器进程内存较高，释放很慢，告警了，很慌。</li>
<li><strong>导致与内存使用有关联的个别管理系统集成不良</strong>：例如 Kubernetes HPA ，或者自定义了扩缩容策略这类模式，难以评估。</li>
<li><strong>挤压同主机上的其他应用资源</strong>：并不是所有的 Go 程序都一定独立跑在单一主机中，自然就会导致同一台主机上的其他应用受到挤压，这是难以评估的。</li>
</ul>
<p>从社区反馈来看是问题多多，弊大于利。</p>
<p>官方本想着想着性能更好一些，但是在现实场景中引发了不少的新问题，甚至有提到和 Android 流程管理不兼容的情况。</p>
<p>有种 “捡了芝麻，丢了西瓜” 的感觉。</p>
<h2 id="go116峰回路转">Go1.16：峰回路转</h2>
<p>既然社区反馈的问题何其多，有没有人提呢？有，超级多。</p>
<p><img src="https://imgkr2.cn-bj.ufileos.com/75ee9ea5-a12c-4de1-806f-eeb85f80e61f.png?UCloudPublicKey=TOKEN_8d8b72be-579a-4e83-bfd0-5f6ce1546f13&amp;Signature=%252BqN8BOgO5kZXIUhuHy1QyxOOZ30%253D&amp;Expires=1612673513" alt=""></p>
<p>多到提出修改回 <code>MADV_DONTNEED</code> 的 issues 仅花了 1-2 天的时间就讨论完毕。</p>
<p>很快得出结论且合并 CL 关闭 issues 了。</p>
<p>Go1.16 修改内容如下：</p>
<pre><code>func parsedebugvars() {
	// defaults
	debug.cgocheck = 1
	debug.invalidptr = 1
	if GOOS == &quot;linux&quot; {
		debug.madvdontneed = 1
	}
  ...
}
</code></pre><p>直接指定回了 <code>debug.madvdontneed = 1</code>，简单粗暴。</p>
<h2 id="总结">总结</h2>
<p>在本篇文章中，我们针对 Go 语言在 Linux 下的 <code>madvise</code> 方法的策略调整进行了历史介绍和说明，同时针对其调整所带来的的副作用及应对措施进行了一一介绍。</p>
<p>本次变更很好的印证了，牵一发动全身的说法。大家在后续应用这块时也要多加注意。</p>
<h2 id="参考">参考</h2>
<ul>
<li><a href="https://github.com/golang/go/issues/42330">runtime: default to MADV_DONTNEED on Linux</a></li>
<li><a href="https://www.v2ex.com/t/666257?p=1">踩坑记： go 服务内存暴涨</a></li>
<li><a href="https://ms2008.github.io/2019/06/30/golang-madvfree/">Go 1.12 关于内存释放的一个改进</a></li>
</ul>


                                        
                                        
                                        
                                        <div class="rp4wp-related-posts">
                                            <h3>相关文章</h3>
                                            <ul>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.site/posts/go/go1.16-2/">Go1.16 新特性：快速上手 Go embed</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.site/posts/go/go1.16-1/">Go1.16 即将正式发布，以下变更你需要知道</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.site/posts/go/go-error2panic/">Go 错误处理：用 panic 取代 err != nil 的模式</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.site/posts/go/go-concurrent-lock/">Go 并发：一些有趣的现象和要避开的 “坑”</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.site/posts/go/go2-errors/">先睹为快，Go2 Error 的挣扎之路</a>
                                                    </div>
                                                </li>
                                                
                                            </ul>
                                        </div>
                                        
                                        
                                    </div>

                                    
                                    
                                    

                                    
                                    <div class="post-meta">
                                        
                                        
                                        <div class="post-tags">
                                            <ul>
                                            
                                            <li>
                                                <a href="/tags/go" title="View all posts tagged match">go</a>
                                            </li>
                                            
                                            </ul>
                                        </div>
                                        
                                        
                                        <nav class="further-reading">
                                            
                                            <div class="previous">
                                                <span>&lt;&lt; Prev</span>
                                                <a href="https://www.lican.site/posts/go/go1.16-2/"
                                                    rel="prev">Go1.16 新特性：快速上手 Go embed</a> </div>
                                            
                                            
                                            <div class="next">
                                                <span>Next >></span>
                                                <a href="https://www.lican.site/posts/go/go1.16-mod/">Go1.16 新特性：Go mod 的后悔药，仅需这一招</a> 
                                            </div>
                                            
                                        </nav>
                                    </div>
                                    
                                    

                                    
                                    
                                    

                                </div>
                            </article>
                        </div>
                    </div>
                </section>
                <aside class="sidebar sidebar-primary" id="sidebar-primary" role="complementary">
    <h1 class="screen-reader-text">Sidebar</h1>
    

    
    
    <section id="text-2" class="widget widget_text">
        <div class="textwidget">
            
            <div id="profile">
                <div id="profile_picture"><img src="https://www.lican.site/logo/logo.png"></div>
                <div id="profile_intro">
                    <p><span class="name">Lican</span></p>
                    <p class="intro">全栈开发者，爱好造轮子。</p>
                </div>
            </div>
            
            <p>
                <script type="text/javascript">
                    (function ($) {
                        $(document).ready(function () {
                            var menuPrimaryContainer = $('#menu-primary-container');
                            var profile = $('#text-2');
                            $('#toggle-navigation').click(function () {
                                if (menuPrimaryContainer.hasClass('open')) {
                                    profile.removeClass('open');
                                } else {
                                    profile.addClass('open');
                                }
                            });
                        });
                    })(jQuery);
                </script>
            </p>
        </div>
    </section>
    
    
    
    
    
    <section id="text-5" class="widget widget_text">
        <h2 class="widget-title">开源项目</h2>
        <div class="textwidget">
            <div id="projects" style="line-height: 22px;">
                
                <a href="https://github.com/idoubi/gonews"
                    target="_blank">gonews</a>: &nbsp;Daily news for golang<br>
                
                <a href="https://github.com/idoubi/sql2struct"
                    target="_blank">sql2struct</a>: &nbsp;Generate go struct according to SQL<br>
                
                <a href="https://github.com/idoubi/goz"
                    target="_blank">goz</a>: &nbsp;Request library used in golang<br>
                
        </div>
    </section>
    
    

    
    
    
    
    

    
    
    

    
    
    

    
    
    
    
</aside>
            </div>
        </div>

        <footer id="site-footer" class="site-footer" role="contentinfo">
    <div class="max-width">
    </div>
    <div class="footer">
        <div id="footercontent">
            © lican.vip All rights reserved<br/>
            Built with Hugo Theme <a href="https://github.com/idoubi/hugo-theme-period" target="_blank">Period</a>
        </div>
    </div>
</footer>

<script>
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?e8351b6d4626d5881d439ea1f6184baa";
      var s = document.getElementsByTagName("script")[0]; 
      s.parentNode.insertBefore(hm, s);
    })();
</script>
    
    
    </div>
    
</body>

</html>